Las reformas educativas actuales, la creación del Instituto Guanajuatense para las Personas con Discapacidad, las instituciones educativas y las personas que laboran en ellas se deben preocupar por brindar educación de calidad para las personas con discapacidad. El presente trabajo analiza la posibilidad de desarrollar un traductor de la Lengua de Señas Mexicana (LSM) usando la técnica de Reconocimiento de Patrones con el fin de incluir al alumnado que presente discapacidad auditiva de la Universidad Tecnológica de León, específicamente en el área de Tecnologías de la Información y Comunicación. Esta plataforma incluye el manejo del sensor KINECT de Windows con el software para el tratamiento de imágenes desarrollado en el lenguaje más apropiado para el desarrollo de este tipo de aplicaciones. Se reportan algunas barreras para el desarrollo del mismo y además, se plantean interesantes premisas para investigación de trabajos futuros.

Palabras clave: reconocimiento de patrones, LSM, KINECT, educación incluyente.

With current educational reforms and the creation of Guanajuato Institute for People with Disabilities, educational institutions and those who work in them, we worry about providing quality education for people with disabilities. This text aims to analyze the possibility of developing a translator of Mexican Sign Language using the technique of pattern recognition in order to have a tool that makes it possible to include students who have hearing disabilities at the Technological University of León specifically in the area Information Technology and Communication. This platform includes the management of Windows KINECT sensor with software for processing images developed in the most appropriate language for the development of such applications. Some barriers to its development were found and interesting premises for research arise and suggest future work.

Keywords: pattern recognition, LSM, KINECT, inclusive education.

El pasado CENSO de población y vivienda 2010 desarrollado por el INEGI, reporta que en el estado de Guanajuato existe un total de 39,079 personas que presentan limitación en la escucha y en el habla o dificultad para comunicarse descartando la causa de limitación de Edad Avanzada. Esta cifra refleja un número considerable de personas con esta necesidad especial en edad para cursar la educación superior.

Dentro del Sistema de Universidades Tecnológicas, se conoce el Programa de Atención a la Discapacidad específicamente de la discapacidad auditiva que ofrece la Universidad Tecnológica de Santa Catarina, Nuevo León; se puede mencionar que en dicho programa se ofrece un curso de Lenguaje de Señas para todos los/las profesores/as, cuando hay un grupo con alumnado con esta discapacidad, se adiciona el servicio de un traductor que apoye al docente titular de la materia. Este mecanismo funciona ya que la universidad cuenta con un número considerable de profesores traductores.

En la Universidad Tecnológica de León se carece de un de programa que ayude al estudiantado con capacidades especiales. Hasta ahora en el área de Tecnologías de la Información y Comunicación, se han tenido diez alumnos(as) con alguna discapacidad en los pasados tres años y algunos han concluido con éxito su estudio como Técnico Superior Universitario; sin embargo, las estrategias docentes para las/os alumnas/os con estas necesidades especiales, pueden mejorarse para brindarles un mejor apoyo educativo.

Actualmente, se observa día a día, el nacimiento de nuevas herramientas tecnológicas que favorecen la vida de los seres humanos y permiten la evolución de ciertas actividades que en años anteriores parecerían de ciencia ficción. Con el crecimiento de los desarrolladores y creadores independientes, aparecen cada vez más accesorios que permiten estar mejor comunicados o facilitan la vida, como es el caso del sensor KINECT que no solo sirve para el entretenimiento; por lo tanto, si estos dispositivos entretienen a los/las usuarios/as, es posible utilizarlos en la educación incluyente.

El proyecto generador de este artículo, pretende demostrar que usando una plataforma que interprete la Lengua de Señas Mexicana a través del Reconocimiento de Patrones, es posible, incluir al alumnado que presente discapacidad auditiva en la Universidad Tecnológica de León, específicamente en el área de Tecnologías de la Información y Comunicación.

El Reconocimiento de Patrones es una técnica de la Inteligencia Artificial que resulta de amplio uso en los sistemas de identificación, por ello, para el desarrollo de este proyecto se consideró altamente recomendable para interfaces de usuarios naturales en las que se dependa de un sensor para captar las entradas que provienen de un usuario¹.

Debido a la importancia de acercar la educación a la población vulnerable, específicamente con capacidades diferentes, el objetivo de este trabajo es evaluar el Reconocimiento de Patrones como técnica base para la construcción de un sistema traductor de la Lengua de Señas Mexicana que apoye a la inclusión de estudiantes sordos/as en la Universidad Tecnológica de León.

1. Revisión de la técnica

El Reconocimiento de Patrones explica cómo las máquinas pueden observar el ambiente, aprenden a distinguir patrones a partir de la experiencia y deciden de acuerdo a las categorías a las que pertenecen dichos patrones. Un Patrón es una entidad a la que se le puede dar un nombre y definir algunas características propias, por ejemplo, una imagen de huella digital, una palabra manuscrita, un rostro, una señal representando voz hablada, entro muchos ejemplos posibles.

El proceso del Reconocimiento de Patrones inicia con la lectura de la realidad para captar una señal de entrada por parte del sensor, se define un patrón y se extraen sus características a través de un algoritmo. Una vez que se tienen las características es posible clasificarlas, es decir, revisar en la base de conocimiento los valores guardados previamente que coinciden en mejor medida con la señal captada. La gráfica que se muestra a continuación apoya a este procedimiento.

Proceso en el Reconocimiento de Patrones

Algunos autores como: Julius T. Tou y Rafael C. González, sintetizan el procedimiento en²:

1. Adquisición de datos
2. Extracción de características
3. Toma de decisiones

Analizando diferentes fuentes se observó que es el Reconocimiento de Patrones es la técnica más apropiada para los sistemas como el propuesto en este trabajo; sin embargo, el reconocimiento debe hacerse en tiempo real dado que el tipo de entradas que se establecen para la aplicación serán las señas del usuario, es decir una imagen en movimiento. Las señas adquiridas por parte de la persona sorda, se captan en el sensor y se almacenan como videos. De acuerdo al algoritmo elegido para el Reconocimiento de Patrones es necesario, definir algunas características que serán llamadas Patrones y sobre las que se hará la comparación con las entradas².

El algoritmo elegido, Nayve Bayes, es útil para descartar que un elemento pertenezca a una clase en base a la extracción de características, que se utiliza una vez definiendo las bases. Para la extracción de características se propone usar la técnica de testores que permite definir algunas variables discriminantes y con ellas, se evalúa la relevancia de cada variable y las de mayor relevancia son las que permanecen³.

Las aplicaciones de esta técnica de Inteligencia Artificial son múltiples, entre ellas destacan: identificación de rostros, predicción de magnitudes máximas de terremotos, búsqueda de petróleo, pronóstico postoperatorio en niños con paladar hendido, determinación de factores que inciden en la lactancia materna, clasificación de atmósferas estelares, sistemas biométricos de huella, voz, y pupila, interpretación de fotografías, reconocimiento de objetos útiles para personas con discapacidad visual, etc.

Una vez analizada la técnica de Inteligencia Artificial, lo siguiente fue la revisión de la Lengua de Señas Mexicana.

En la Lengua de Señas Mexicana existen modismos por regiones y la seña para una palabra puede variar si es en el centro o en el sur del país; sin embargo, en el caso del vocabulario técnico solo la comunidad de sordos y su intérprete se ponen de acuerdo en cuál es la seña y gesto que utilizarán para definir dicha palabra técnica.

Es muy importante en la LSM considerar que las señas deben ir acompañadas de un gesto dentro de un lugar denominado el espacio señante; por lo que el Reconocimiento de Patrones no solo se hace en los movimientos de los brazos, la mano y los dedos sino también el gesto de la persona que complejiza el desarrollo del sistema. En el contexto escolar, el uso de la Lengua de Señas Mexicana, implica por parte del docente utilizar su estructura y características propias, sin recurrir al uso de sistemas artificiales como el español signado (uso de señas de acuerdo con la estructura del español), o al uso simultáneo de la lengua oral y algunas señas, pues al no ser la primera, su lengua natural, provoca confusión y pocas posibilidades de aprendizaje⁵.

Proceso de Aprendizaje de la Lengua de Señas Mexicana⁵.

Respecto a las pruebas de entrada con el sensor Kinect, se utilizó la herramienta de Skeleton, propia de Microsoft que brinda la documentación de desarrollo Kinect for Windows y Resources & Samples. Esta librería permite detectar las señales en base a un esqueleto definiendo dos ejes principales y algunos nodos que representan las articulaciones, sin embargo, no es posible llegar a la detección de los movimientos de los dedos de las manos, que es una pieza muy importante en la LSM⁷.

Esta librería Skeleton, tiene un conjunto de ejemplos posibles descargables y listos para usarse que se conectan con la plataforma de desarrollo Visual Basic y que están listos para ser utilizados en las diferentes aplicaciones, sin embargo, para este trabajo no fue posible aplicarlas debido a que solo reconoce el movimiento del cuerpo, pero para los movimientos de dedos no es posible captar señal.

La clase principal de Skeleton necesita crear un objeto que pertenece a la clase Kinect para que pueda tener todos los métodos disponibles.

El código utilizado es:

Código para inicializar la librería Skeleton con los servicios del sensor Kinect⁶.

En el desempeño del sensor KINECT, se presentó un problema en la detección, ya que el sensor solo permite detectar la posición de la mano mas no analizar los movimientos de los dedos; es decir que para ciertas señas no sería posible detectarlo y menos en aquellas en las que se necesita doblar los dedos o usar el puño; por lo que para movimientos detallados se determinó utilizar un guante sensor⁷.

El banco de videos que se compararía con los generados de las entradas del sensor Kinect, utilizaría la plataforma oficial en México de la LSM para obtener todos los videos que permitan crear la base de conocimiento; dicha página es la del CENTRO Digital de RECURSOS DE LA EDUCACIÓN ESPECIAL, en ella se encuentra el Diccionario Español de la Lengua de Señas Mexicana o DIELSEME.

EL DIESELME, es un diccionario bilingüe que responde a la necesidad básica de enseñar la Lengua de Señas Mexicana (LSM) con referencia al español escrito, a personas sordas; sin embargo, lo utilizan también personas que tienen hijos/as sordos/as, docentes con estudiantado sordo e intérpretes en formación. Esta herramienta es el resultado de años de trabajo de un equipo de investigadores de la Dirección de Educación Especial y del Colegio de México quienes se han preocupado por transformar la educación de estudiantes sordos. La documentación inicial proviene de un sinfín de investigaciones y recopilaciones de algunas otras personas sordas con estudios realizados desde 1982⁴.

Portada y Palabra Caballo definidas en el DIELSEME

2. Desarrollo

La base de conocimiento se creará con videos extraídos del DIESELME, editados para ser leídos por el algoritmo de extracción de características almacenadas en una base de datos que permite el registro de: id, descripción, categoría, ruta, palabras clave, para su comparación posterior con los videos tomados del usuario. Con respecto al desarrollo de la plataforma intérprete se tienen identificados los elementos de hardware y software necesarios para la realización del mismo; la etapa de planeación, en la que se encuentra ahora, define que usando la técnica de Reconocimiento de Patrones, se realizará el prototipo en una sola vía, es decir el/la estudiante sordo/a podría comunicarse con el sistema, el KINECT capta sus movimientos, el algoritmo identifica las características de lo captado y lo revisa en su base de conocimiento para interpretar y brindar el resultado; el/la docente es el receptor del mensaje y la aplicación comunicará en un texto lo que el estudiantado sordo pretende comunicar.

El análisis de la técnica de Reconocimiento de Patrones no es tan sencillo, a pesar de contar con datos de Inteligencia Artificial; es necesario hacer pruebas, consultar otras fuentes y analizar prototipos de otros investigadores pero por la naturaleza de los proyectos no todos se resuelven de la misma manera. Existen algoritmos de reconocimiento bien definidos, las variables son muchas y es necesario controlarlas todas para el mejor desempeño del mismo. Además, respecto al reconocimiento en tiempo real hay muy pocas investigaciones, los algoritmos son complejos y algunos métodos de selección de variables y extracción no se pueden utilizar para el tipo de proyecto propuesto en este trabajo.

Las diferentes aplicaciones, herramientas y librerías que han sido creadas para el sensor KINECT funcionan de manera eficiente para captar los movimientos de la persona, sin embargo, no hace la captación de gestos y movimientos de la mano del usuario en tres dimensiones puesto que con las librerías propias del sensor no es posible captar los movimientos de los dedos. Para ello, es necesario aprovechar toda la información que nos puede ofrecer Kinect como sensor de movimiento y profundidad, además de tomar imágenes que puedan ser captadas por la cámara, para poder aplicar algoritmos y técnicas que nos permitan conseguir una mejor detección de señales para el reconocimiento de patrones.

Al realizar todo el análisis de las fuentes de información y aplicar las pruebas con el sensor, se determina que el Reconocimiento de Patrones sirve como técnica para la construcción de un sistema traductor de señas, lo que permite afirmar que el logro de este proyecto será de 50% y para completarlo será necesario crear el prototipo traductor de la Lengua de Señas Mexicana, agregando el aspecto de tiempo real y considerando algún otro sensor que permita captar los movimientos más precisos de la mano, que permita favorecer inclusión de alumnado sordo en la Universidad Tecnológica de León.

Al inicio cuando se planteó el desarrollo de este proyecto, la principal motivación fue la experiencia del trabajo en la UTSC con un profesor intérprete de la LSM y tres alumnos sordos; de allí surgió el interés de conocer más este lenguaje. Se decidió comenzar el desarrollo de este proyecto pues es la forma en la que se puede contribuir a la inclusión de la educación en la universidad dado que hasta ahora no se ha recibido a algún estudiante con estas características.

Al realizar este trabajo se comprobaron en primer lugar, las ventajas y desventajas que puede conllevar el trabajar o interactuar con un ordenador o aparato tecnológico de forma dinámica mediante el uso de interfaces de usuario naturales, ya que el área de docencia de Multimedia y Comercio Electrónico va orientado al desarrollo web más que a la Inteligencia Artificial.

Es una gran motivación, apoyar en la inclusión de personas sordas a el área de TICS, aunque se requiere de propuestas de trabajo en los diferentes niveles educativos ya que no sería posible que el alumnado llegara a la universidad si aún no ha pasado por una preparatoria incluyente. También es necesaria, la formación de nuevos recursos humanos, puesto que la plantilla de docentes de la UTL, en general son profesionistas de lo que pocos casos están preparados pedagógicamente y menos en el manejo de este lenguaje; todavía hay mucho camino por recorrer en la inclusión educativa. Es necesario que se conozcan estrategias docentes orientadas a la atención educativa a personas con discapacidad; por otro lado, también es indispensable generar materiales que apoyen a los/las maestro/as en la labor de satisfacer las necesidades básicas de aprendizaje. A pesar de todo esto, se sigue trabajando en la creación de un prototipo para apoyar a la inclusión de personas sordas, que pueda usarse no solo en la institución sino en cualquier otro nivel académico.

1. GIACOMANTONE Javier, ABASOLO María José, BRIA Oscar, CRISTINA Federico, DAPOTO Sebastián, ARTOLA Verónica, LORENTI Luciano, VIOLINI Lucía, MANRESA-YEE Cristina, MAS SANSÓ Ramon, NAIOUF Marcelo. Sistemas de Visión Automática y Reconocimiento de Patrones, Interfaces Avanzadas, Realidad Virtual y Aumentada. Instituto de Investigación en Informática. Universidad de la Plata. Argentina. XIV Workshop de Investigadores en Ciencias.
2. BENÍTEZ, P José C. Procesamiento de Imágenes y Visión por Computadora. Apuntes del curso [en línea], Universidad Tecnológica de Perú [ref. 13 julio de 2014]. Disponible en web: http://es.slideshare.net/jcbp_peru/utp-pdiyvasap12-reconocimiento-de-patrones.
3. P. Domingos and M. Pazzani. On the optimality of the simple Bayesian classier under zero-one loss. Machine Learning 1997, 29(2-3):103,130.
4. FRIDMAN. Dirección de Educación Especial. Diccionario de Lengua de Señas Mexicana. Estrategias para fortalecer la enseñanza y aprendizaje del español escrito como segunda lengua en los alumnos sordos. México. p. 5.
5. Dirección General de Educación Indígena. Guía Cuaderno 2: Atención Educativa de alumnos y alumnas con discapacidad auditiva. México: Octubre 2014.
6. XBOX, Kinect [en línea]. Microsoft Kinect Documentation [ref. 16 diciembre 2012]. Disponible en web: http://www.xbox.com/es-MX/kinect
7. Clark R. A., Pua Y., Fortin K., Ritchie C., Webster K. E., Denehy L., Bryant A. L. “Validity of the Microsoft Kinect for assessment of postural control”, Gait & Posture, Volume 36, Issue 3, pp. 372-377.

- C. González, Rafael. E.WOODS Richard. Digital Image Processing. Tercera Edición. Editorial Pearson.
- CARRASCO OCHOA, Jesús Ariel. Reconocimiento de Patrones. Instituto Nacional de Astrofísica Óptica y Electrónica. México 2014.
- FAÚNDEZ ZANUY, Marcos. Tratamiento digital de Voz e Imagen y aplicación a la multimedia. Editorial Marcombo. [ref. de octubre 2013].Disponible en web: http://books.google.es/books?id=bJAHd5YC61IC& printsec=frontcover & hl=es & source=gbs_ge_summary_r& cad=0#v=onepage & q & f=false
- J. GUZDIAL Mark, ERICSON, Bárbara. Introducción a la computación y programación con Python, Un enfoque Multimedia. Tercera Edición. Pearson.
- LEE FERNG, Jong Bor. Memoria. Reconocimiento robusto en tiempo real de gestos. Universidad de Chile Facultad de ciencias físicas y matemáticas. Depto. de ciencias de la computación. 2010
- Massachusetts Institute of Thecnology. Lecturas del Curso “Pattern Recognition for Machine Vision”.
- México. Diario Oficial de la Federación. Ley general de educación. 13 de julio de 1993. Revisado en Agosto del 2013.
- México. Ley de Educación para el Estado de Guanajuato, Periódico oficial 160 segunda parte, de 7 de octubre de 2011, fe de erratas en el periódico oficial 172 segunda parte, del 28 de octubre de 2011.
- México. Ley General para la Inclusión de las Personas con Discapacidad, de 30 mayo 2011, del Diario Oficial de la Federación.
- México. Ley de Inclusión para las Personas con Discapacidad en el Estado de Guanajuato, Periódico oficial del gobierno del estado de Guanajuato, número 148, tercera parte, de fecha 14 de septiembre de 2012.
- OPENNI, Documentation [en línea]. OpenNI 2011 [ref. 16 de diciembre 2012]. Disponible en web: http://kinectcar.ronsper.com/docs/openni/index.html
- OpenKinect Project. Repositorio para librería desarrollada en Python [en línea]. Disponible en web: http://openkinect.org/wiki/Getting_Started
- Sistemas y Diseños de México. Komputer Sapiens, Año III Volumen II. S.A. de C.V., ISSN 2007-0691.
- SUCAR, L. Enrique . Visión Computacional. Instituto Nacional de Astrofísica, Óptica y Electrónica.
- XBOX, Kinect [en línea]. Microsoft [ref. 16 julio de 2014]. Disponible en web: http://www.xbox.com/es-MX/xbox-one/accessories/kinect-for-xbox-one
- Z, Zhang. “Microsoft Kinect Sensor and Its Effect”, Multimedia IEEE, Volume 19, Issue 2, 2012. p. 4-10.